完全免费！用 Ollama 和 LM Studio 在本地运行 AI 大模型
完全免费！用 Ollama 和 LM Studio 在本地运行 AI 大模型
来源：htmlDecode("AI工具派")
原文链接：https://mp.weixin.qq.com/s/71t-e25ZdkIpfUEii_gCrg
Hi，我是 Chris
Chris 在社群、公众号后台经常收到大家的提问，XX 模型免费吗？类似的问题，可见大家对 AI 最关注的可能还是价格。
今天就来分享一下如何 ** 在本地运行 AI 大模型，用到的是 ** 两个目前非常主流的本地大模型工具： ** Ollama ** 和 ** LM Studio ** 。一个适合开发者，一个适合所有人。
为什么要本地运行大模型？
在深入介绍工具之前，先说说本地运行的核心优势： ** 💰 ** 零费用：没有 API 调用计费，运行多少次都不花钱 ** 🔒 ** 隐私安全：数据完全留在本地，不上传任何服务器，适合处理敏感信息 ** 🚀 ** 无网络依赖：断网也能用，响应速度只取决于你的硬件 ** 🛠️ ** 高度可定制：可以加载各种开源模型，自由调整参数
当然，本地运行也有局限： ** 需要一定的硬件配置 ** （主要是内存和显存），模型能力通常比 GPT-4、Claude 等顶级商业模型稍弱。但对于日常写作、代码辅助、文档问答等任务，完全够用。
Ollama
Ollama 是一个开源工具，让你能通过 ** 一行命令 ** 下载并运行各种主流开源大模型，堪称本地 AI 界的 "Docker"。它支持 macOS、Linux 和 Windows，背后维护活跃，更新很快。
官方网址：https://ollama.com/
如果你国内环境无法下载 Ollama，可以试试 https://cnb.cool/hex/ollama 下载安装。
支持哪些模型？
Ollama 的模型库非常丰富，比如最新的 qwen3.6/Kimi-k2.6/deepseek-v4-pro/glm-5.1 等等，如果按照系列划分的话，主要包括： ** Llama 系列： ** Meta 出品，综合能力强 ** Qwen 系列： ** 阿里出品，中文表现优秀 ** Gemma 系列： ** Google 出品 ** GLM 系列： ** 智谱 AI 出品 ** Minimax 系列： ** minimax 出品 ** Mistral / Mixtral 系列： ** 法国团队，代码能力突出 ** DeepSeek 系列： ** 国产推理模型，数学逻辑强 ** Phi ** 系列：微软出品，小而精
有非常多，这里没有全部列出，主要是看你电脑配置啦。
如何使用
首先到官网 https://ollama.com/download 下载并安装即可。
然后下载安装你需要的模型即可，你可以在 https://ollama.com/search 找到合适的模型，打开详情页，比如 Chris 这里打开最新 qwen3.6 模型页面：
然后根据你电脑性能，选择合适的模型尺寸，比如 Chris 电脑是 48G 内存的配置：
就可以选择 qwen3.6:27b 尺寸的模型进行下载，这时候需要打开电脑命令行工具，输入 ollama run qwen3.6:27b 命令，进行下载并运行。
等待下载安装完成后，就可以输入 ollama run qwen3.6:27b 运行了，Chris 这里使用的是 qwen3:14b 模型进行演示，整体流程一样的，这时候你就可以自由跟这个 AI 大模型对话了：
这里有几个 Ollama 常用命令如下：
# 下载并运行 Llama 3（8B 参数版本）
ollama run llama3
# 下载并运行中文友好的 Qwen
ollama run qwen3
# 列出已安装的模型
ollama list
# 删除模型
ollama rm llama3
运行后直接在终端对话，或者通过它内置的 ** REST API ** （默认 http://localhost:11434 ）接入自己的应用，接口格式与 OpenAI API 兼容，几乎可以无缝替换。
国内模型加速下载
如果你在国内下载模型很慢，可以试试 ModelScope 的方案，在 https://modelscope.cn/models?libraries=GGUF 找到合适的模型，然后把命令里面模型名称改成： ollama run modelscope.cn/{model-id} ，其中 {model-id} 替换成具体模型名称即可，格式是 {username}/{model} ，比如：
ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF
ollama run modelscope.cn/second-state/gemma-2-2b-it-GGUF
ollama run modelscope.cn/Shanghai_AI_Laboratory/internlm2_5-7b-chat-gguf
{model-id} 获取方式如下，打开一个模型页面后，复制上面红色框内容：
ModelScope社区上托管了上万个优质的GGUF格式的大模型（包括LLM和视觉多模态模型），并支持了Ollama框架和ModelScope平台的链接，通过简单的 ollama run 命令，就能直接加载运行ModelScope模型库上的GGUF模型。
参考文档：https://modelscope.cn/docs/models/advanced-usage/ollama-integration
客户端使用
通常对于普通人来说，这个黑乎乎的命令行界面很不方便，所以 Chris 推荐下一些客户端页面可以使用，跟在网页使用一样：
1.Ollama 官方客户端
在下载并安装好 Ollama 后，会自带一个客户端界面，你可以在输入框右下角直接选择要使用的 AI 模型，然后正常进行对话即可：
2.ChatWise 客户端
ChatWise 是一款本地 AI 大模型聊天客户端，官方网址：https://docs.chatwise.app/
使用方式也是类似，在对话页面左上角切换模型。
3.WiseMindAI 客户端
WiseMindAI 是一款本地优先的 AI 学习与知识工作台。不仅支持使用本地 AI 模型进行文档总结、对话，还支持 AI 知识库、知识卡片等功能。让资料处理、知识沉淀和成果输出都在一个地方完成。
官方网址：https://wisemindai.app/
当然，所有的对话记录你都可以保存成笔记、知识卡片，还可以做成海报直接分享，学习起来就特别的方便。
LM Studio
如果你不喜欢命令行， ** LM Studio ** 是更好的选择。它提供了一个漂亮的桌面 GUI，让你像用普通软件一样管理和使用本地大模型，支持 macOS、Windows 和 Linux。
官方网址：https://lmstudio.ai/
核心功能
** 1. 模型市场 **
内置模型搜索界面，可以直接搜索并下载 Hugging Face 上的 GGUF 格式模型，无需手动折腾。
** 2. 类 ChatGPT 对话界面 **
下载好模型后，可以直接在软件里和模型对话，界面清晰，支持多轮对话历史管理。
** 3. 本地 API 服务器 **
一键开启本地 OpenAI 兼容 API，让其他工具（如 Cursor、Continue、Open WebUI）直接接入你的本地模型。
** 4. 多模型对比 **
可以同时加载多个模型，进行横向对比，找到最适合自己需求的那一个。
如何使用
打开 LMStudio 后，在左侧“Model Search”菜单按钮，打开弹窗，直接选中你要使用的模型，点击右侧下载模型即可。
当然也可以到官网 https://lmstudio.ai/models 搜索并安装。
下载完成后，点击左侧第一个菜单“Chat”，在顶部选择你下载好的模型：
然后点击“加载模型”按钮：
接下来就可以和这个 AI 模型对话了， ** 并且 LM Studio 还支持很多对话设置 ** ，比如预设提示词、系统提示词等等：
当然，在前面说的 WiseMindAI 中，也可以直接使用 LMStudio 的本地 AI 模型：
这样就可以完全离线去使用各种 AI 功能啦， ** 特别是一些有隐私要求的文档，你就可以用 WiseMindAI 在离线的情况下，进行文档总结、对话、生成思维导图等 ** 。
Ollama vs LM Studio：怎么选？
对比维度 Ollama LM Studio 操作方式 命令行 图形界面 上手难度 需要基础终端知识 零门槛 API 集成 ✅ 原生支持，OpenAI 兼容 ✅ 支持，需手动开启 模型来源 Ollama 官方模型库 Hugging Face（GGUF 格式） 适合场景 开发集成、自动化脚本 日常对话、模型体验 性能开销 极低（纯后台服务） 稍高（带 GUI） 跨平台 macOS / Linux / Windows macOS / Windows / Linux
** 简单建议： ** 你是开发者，想把 AI 接入自己的应用 → 选 ** Ollama ** 你只是想在电脑上和 AI 聊天，省掉订阅费 → 选 ** LM Studio ** 两者也可以 ** 同时安装 ** ，各取所长，然后可以使用 WiseMindAI 进行学习和资料管理
硬件要求参考
本地运行大模型对硬件有一定要求，以下是常见模型的内存参考： 模型规模 推荐内存/显存 可用模型举例 3B 参数 4 GB Phi-4-mini、Gemma 3 3B 7B 参数 8 GB Llama 3.1 8B、Qwen 2.5 7B 14B 参数 16 GB Qwen 2.5 14B、Gemma 3 12B 32B+ 参数 32 GB+ Qwen 2.5 32B、Llama 3.3 70B（量化版）
💡 ** 没有独立显卡也没关系 ** ，两款工具都支持纯 CPU 运行，只是速度会慢一些。有 Apple Silicon（M1/M2/M3/M4）的 Mac 用户体验尤其好，Metal GPU 加速效果出色。
Chris 的模型推荐清单（2026 最新版）
模型迭代太快，这份清单我会尽量保持更新。以下是我目前实际在用、或测试过觉得值得推荐的： ** 日常中文对话 ** ： qwen3.6:9b （阿里 Qwen 系列的最新一代，中文理解依然是开源里最强的，8GB 显存即可跑） ** 代码辅助 ** ： qwen3.6:27b （2026 年 4 月刚发布，SWE-bench 成绩达到 77.2%，和 Claude Opus 4.5 打平，代码质量让我很惊喜） ** 综合推理 / 长文档 ** ： gemma4 （Google 出品，MoE 架构，256K 超长上下文，推理速度快，本地跑起来非常流畅） ** 低配设备 ** ： phi4-mini （微软出品，3.8B 参数，4GB 内存可跑，速度 15-20 tokens/s，轻量但表现出乎意料地好） ** 强推理 / 数学逻辑 ** ： deepseek-v3.2-exp:7b （DeepSeek 最新推理实验版，数学和逻辑分析很强）
💡 如果你的机器内存够大（32GB+），可以试试 qwen3.5:72b 或 llama4:8b ，综合质量已经非常接近云端的 GPT-4o mini，本地跑完全免费。
写在最后
云端 AI 服务固然强大，但本地开源模型已经足以覆盖大多数日常需求。借助 ** Ollama ** 和 ** LM Studio ** ，任何人都可以在自己的电脑上免费运行 AI 大模型，彻底告别 API 账单，同时获得更好的数据隐私保护。
不妨今天就下载试试——毕竟，免费的才是最贵的。